A machine learning approach to pedestrian detection for autonomous vehicles using High-Definition 3D Range Data

This article describes an automated sensor-based system to detect pedestrians in an autonomous vehicle application. Although the vehicle is equipped with a broad set of sensors, the article focuses on the processing of the information generated by a Velodyne HDL-64E LIDAR sensor. The cloud of points generated by the sensor (more than 1 million points per revolution) is processed to detect pedestrians, by selecting cubic shapes and applying machine vision and machine learning algorithms to the XY, XZ, and YZ projections of the points contained in the cube. The work relates an exhaustive analysis of the performance of three different machine learning algorithms: k-Nearest Neighbours (kNN), Naïve Bayes classifier (NBC), and Support Vector Machine (SVM). These algorithms have been trained with 1931 samples. The final performance of the method, measured a real traffic scenery, which contained 16 pedestrians and 469 samples of non-pedestrians, shows sensitivity (81.2%), accuracy (96.2%) and specificity (96.8%).This work was partially supported by ViSelTR (ref. TIN2012-39279) and cDrone (ref. TIN2013-45920-R) projects of the Spanish Government, and the “Research Programme for Groups of Scientific Excellence at Region of Murcia” of the Seneca Foundation (Agency for Science and Technology of the Region of Murcia—19895/GERM/15). 3D LIDAR has been funded by UPCA13-3E-1929 infrastructure projects of the Spanish Government. Diego Alonso wishes to thank the Spanish Ministerio de Educación, Cultura y Deporte, Subprograma Estatal de Movilidad, Plan Estatal de Investigación Científica y Técnica y de Innovación 2013–2016 for grant CAS14/00238

Desarrollo e implementación de un vehículo autónomo. Cloud Incubator Car

[SPA] La tesis propuesta se enmarca dentro del campo de la ingeniería de los vehículos autónomos y ha sido desarrollada en el seno del grupo de investigación División de Sistemas e Ingeniería Electrónica (DSIE) de la Universidad Politécnica de Cartagena. Los vehículos autónomos están llamados a cambiar completamente la movilidad tal como la conocemos en la actualidad. Los avances en el software, junto con los sensores de última generación están propiciando un gran desarrollo de la denominada tecnología de conducción autónoma, que, sin duda, proporcionará grandes mejoras en la confiabilidad y el funcionamiento seguro de los vehículos autónomos en condiciones del tráfico real. La investigación sobre vehículos autónomos ha estado creciendo rápidamente en los últimos años y abarca diferentes dominios, incluidos la robótica, la informática y la ingeniería. Además, cabe señalar que los fabricantes de automóviles han hecho avances científicos que no siempre divulgan públicamente los detalles de sus enfoques o algoritmos, debido a la sensibilidad comercial. Una visión durante muchos años ha sido imaginar ver vehículos autónomos por ciudad capaces de conducir de manera segura a través del tráfico urbano y compartir las carreteras con otros participantes del tráfico. Los vehículos autónomos son una evolución prometedora de la tecnología actual del vehículo y los sistemas avanzados de asistencia al conductor, y se prevé que sean el futuro sostenible para una mayor seguridad vial, un flujo de tráfico eficiente y un menor consumo de combustible, al tiempo que mejoran la movilidad y, por lo tanto, el bienestar general. Los vehículos autónomos perciben el entorno mediante técnicas complejas como visión artificial, láser, RADAR, LIDAR y sistemas de posicionamiento global. Los sistemas avanzados de control interpretan la información proporcionada por los mencionados sistemas de percepción con el fin de identificar la ruta apropiada, así como los obstáculos y la señalización relevante. Los vehículos autónomos actuales son capaces generalmente de recorrer carreteras previamente programadas y requieren de una adecuada reproducción cartográfica del terreno; en caso contrario se puede dar el caso que no sea posible la ejecución de un trayecto de forma coherente y en condiciones de seguridad. Esta tesis contempla el estudio y desarrollo de una plataforma de investigación para aplicaciones de conducción autónoma, basada en un vehículo eléctrico comercial (Renault Twizy). Para ello, se abordó una fase inicial consistente en el estudio, diseño, fabricación y montaje de elementos mecánicos (engranajes, motoreductores y drivers) necesarios para robotizar los componentes encargados de operar el volante, freno, acelerador y sentido de marcha. A continuación, se realizó un análisis detallado de los diferentes sistemas de precepc1on disponibles en el mercado y se realizó una propuesta de sensorización de la plataforma para conducción autónoma El resultado de esta etapa ha sido la integración de un completo sistema de percepción del entorno compuesto por sensores ultrasónicos, LIDAR 3D, LIDAR 2D, cámaras de visión en diferentes espectros, cámaras de tiempo de vuelo (ToF), sistemas de posicionamiento global (GPS) y sistemas de medida inercial (IMU) . Se ha propuesto e una arquitectura de control que abarca las fases de diseño, prototipo e implementación. Los sistemas del vehículo sistemas de percepción, servomotores, gestión de energía a bordo, etc.,) son controlados mediante unidades de procesamiento hardware (NI CompactRIO 9082 / Xilinx FPGA y ordenadores embebidos Intel Core i7) y software (Labview) que proporcionan un sistema de control robusto y escalable y que permite una rápida implementación y prueba de algoritmos conducentes a la conducción autónoma. Una vez que el vehículo posee la tecnología capaz de mover volante, freno, acelerador y sentido de marcha, visualizar y procesar el entorno cambiante a su alrededor, la siguiente fase fue diseñar algoritmos y software para la planificación global y local de posibles rutas, con las condiciones óptimas y seguras de circulación. Todo esto gobernado por un sistema inteligente de torna de decisiones. Corno prueba de concepto, se desarrolló e implementó un algoritmo de detección de peatones basado en el análisis de la nube de puntos obtenidos por medio del sensor LIDAR Velodyne HDL64E. [ENG] The proposed Ph.D. thesis is framed within the field of autonomous vehicle engineering and has been developed within the research group División de Sistemas e Ingeniería Electrónica (DSIE) of the Technical University of Cartagena. Autonomous vehicles are called upon to completely change mobility as we know it t oday. Advances in software, along with state-of-the-art sensors, are leading to a major development of socalled autonomous driving technology, which will undoubtedly provide major improvements in the reliability and safe operation of autonomous vehicles in real traffic conditions. Autonomous vehicles perceive the environment using complex techniques such as computer vision, laser, radar, LIDAR, and global positioning systems. Advanced control systems interpret the information provided by the aforementioned perception systems in order to identify the appropriate route, as well as obstacles and relevant signaling. Today's autonomous vehicles are generally capable of traveling previously programmed roads and require adequate mapping of the terrain; otherwise it may be the case that it is not possible to execute a journey in a coherent and safe way. This thesis contemplates the study and development of a research platform for autonomous driving applications, based on a commercial electric vehicle (Renault Twizy). To do this, an initial phase consisting of the study, design, manufacture and assembly of mechanical elements (gears, servo motors and drivers) necessary to robotize the components responsible for operating the steering wheel, brake, accelerator and direction of travel was addressed. Next, a detailed analysis of the different sensing systems available on the market was carried out and a proposal was made for sensorization of the platform for autonomous driving The result of this st age has been the integration of a complete system of perception of the environment composed of ultrasonic sensors, 3D LIDAR, 2D LIDAR, vision cameras in different spectra, time-offlight (ToF) cameras, global positioning systems (GPS) and inertial measurement systems (IMU). A control architecture has been proposed that covers the design, prototype and implementation phases. Vehicle systems (perception syst ems, servo motors, on-board power management, et c.) are controlled by hardware processing units (NI CompactRIO 9082 / Xilinx FPGA and lntel Core i7 embedded computers) and software (Labview) that provide a robust and scalable control system which allows rapid implementation and testing of algorithms for autonomous driving. As a proof of concept, a pedestrian detection algorithm was developed and implemented based on the analysis of the cloud of points obtained by a Velodyne HDL64E LIDAR sensor.Escuela Internacional de Doctorado de la Universidad Politécnica de CartagenaUniversidad Politécnica de CartagenaPrograma de Doctorado en Tecnologías Industriale